从语义视觉知识中生成图像是一项具有挑战性的任务，与诸如类标签或文本描述之类的替代方案相比，以复杂，微妙和明确的方式调节合成过程很有用。尽管存在以语义表示为条件的生成方法，但除了对对象之间的约束规范外，它们没有提供控制生成过程的方法。例如，迭代生成或修改图像通过手动添加特定项目的可能性是所需的属性，据我们所知，文献尚未在文献中得到充分研究。在这项工作中，我们提出了一种基于变压器的方法，该方法以场景图为条件，相反，该方法针对最近的基于变压器的方法，还采用解码器来自动构成图像，从而使合成过程更有效和可控。提出的体系结构由三个模块组成：1）图形卷积网络，以编码输入图的关系； 2）编码器码头变压器，可自动加入构成输出图像； 3）一种自动编码器，用于生成用作变压器每个生成步骤的输入/输出的表示。在CIFAR10和MNIST图像上获得的结果表明，我们的模型能够满足由场景图定义的语义约束，并通过考虑到所需目标的用户提供的部分渲染，以模拟场景中的视觉对象之间的关系。
translated by 谷歌翻译
胰腺中的癌前囊肿或肿瘤的早期检测，即，导管内乳头状粘膜肿瘤（IPMN）是一项具有挑战性且复杂的任务，它可能导致更有利的结果。一旦检测到，还必须准确地对IPMN进行评分，因为低风险IPMN可以在监视计划下进行，而高危IPMN必须在变成癌症之前先手术切除。 IPMN分类的当前标准（Fukuoka等）显示出明显的操作员内和跨操作员变异性，除了容易出错，使适当的诊断不可靠。通过深度学习范式在人工智能方面的既定进展可能为有效支持胰腺癌的医疗决策提供了关键工具。在这项工作中，我们通过提出一种基于AI的新型IPMN分类器来遵循这一趋势，该分类器利用了Transformer网络最近在包括视觉的各种任务（包括视觉的任务）上概括的最新成功。我们特别表明，我们的基于变压器的模型比标准卷积神经网络更好地利用预训练，从而支持视觉中构建的构造统一性，包括医学图像域，并可以更好地解释获得的结果。
translated by 谷歌翻译
在医学领域，通常寻求多中心协作来通过利用患者和临床数据的异质性来产生更广泛的发现。但是，最近的隐私法规阻碍了共享数据的可能性，因此，提出了支持诊断和预后的基于机器学习的解决方案。联合学习（FL）旨在通过将基于AI的解决方案带入数据所有者，而仅共享需要汇总的本地AI模型或其部分，以避免这种限制。但是，大多数现有的联合学习解决方案仍处于起步阶段，并且由于缺乏可靠和有效的聚合计划能够保留本地学到的知识，从而显示出薄弱的隐私保护，因为可以从模型更新中重建实际数据，因此显示出几个缺点。此外，这些方法中的大多数，尤其是那些处理医学数据的方法，都依赖于一种集中的分布式学习策略，该策略构成了稳健性，可伸缩性和信任问题。在本文中，我们提出了一种分散的分布式方法，该方法从经验重播和生成对抗性研究中利用概念，有效地整合了本地节点的功能，从而提供了能够在维持隐私的同时跨多个数据集进行概括的模型。为了模拟现实的非i.i.d，使用多个数据集对两项任务进行了两项任务测试：结核病和黑色素瘤分类。数据方案。结果表明，我们的方法实现了与标准（未赋予）学习和联合方法相当的性能（因此，更有利）。
translated by 谷歌翻译
这项工作调查了持续学习（CL）与转移学习（TL）之间的纠缠。特别是，我们阐明了网络预训练的广泛应用，强调它本身受到灾难性遗忘的影响。不幸的是，这个问题导致在以后任务期间知识转移的解释不足。在此基础上，我们提出了转移而不忘记（TWF），这是在固定的经过预定的兄弟姐妹网络上建立的混合方法，该方法不断传播源域中固有的知识，通过层次损失项。我们的实验表明，TWF在各种设置上稳步优于其他CL方法，在各种数据集和不同的缓冲尺寸上，平均每种类型的精度增长了4.81％。
translated by 谷歌翻译
我们提出了Midgard，这是一个用于室外非结构化环境中自动机器人导航的开源模拟平台。 Midgard旨在实现在影照相3D环境中对自主代理（例如，无人接地车）进行培训，并通过培训场景中的可变性来支持基于学习的代理的概括技巧。 Midgard的主要功能包括可配置，可扩展和难度驱动的程序景观生成管道，并具有基于虚幻引擎的快速和影像现实主义场景。此外，Midgard还对OpenAi Gym进行了内置支持，OpenAi Gym是一个用于功能扩展的编程接口（例如，集成新型的传感器，自定义曝光内部模拟变量）和各种模拟代理传感器（例如RGB，DEPTH和实例/实例/语义细分）。我们评估了Midgard的功能，作为使用一组最先进的强化学习算法的机器人导航的基准测试工具。结果表明，Midgard作为模拟和训练环境的适用性，以及我们程序生成方法在控制场景难度方面的有效性，这直接反映了准确度量指标。 Midgard构建，源代码和文档可在https://midgardsim.org/上找到。
translated by 谷歌翻译